হাদুপের HDFS (Hadoop Distributed File System) বড় আকারের ডেটাসেটকে ছোট ছোট অংশে ভাগ (Partition) করে। এই পদ্ধতির মাধ্যমে ডেটা একাধিক নোডে (Node) সংরক্ষণ করা হয়, যা সমান্তরাল প্রক্রিয়াকরণকে (Parallel Processing) সহজ করে তোলে।
কীভাবে Data Partitioning কাজ করে?
- বিভাজন প্রক্রিয়া:
বড় ফাইল HDFS এ আপলোড করার সময়, সেটি স্বয়ংক্রিয়ভাবে ছোট ছোট অংশে বিভক্ত হয়। প্রতিটি অংশকে Block বলা হয়। - Block Size:
- ডিফল্ট ব্লক সাইজ সাধারণত 128MB বা 256MB।
- ব্লক সাইজ বড় হলে ডেটা ট্রান্সফারের সংখ্যা কমে যায় এবং প্রক্রিয়াকরণ দ্রুত হয়।
- বিভাগের উপকারিতা:
- একাধিক নোডে ব্লক ভাগ করা হয়, তাই লোড ব্যালেন্সিং (Load Balancing) সম্ভব হয়।
- ডেটা প্রক্রিয়াকরণের সময় MapReduce সমান্তরালভাবে ব্লকগুলিকে প্রক্রিয়া করে।
উদাহরণ:
যদি একটি 512MB ফাইল HDFS এ আপলোড করা হয় এবং ব্লক সাইজ 128MB হয়, তবে ফাইলটি ৪টি ব্লকে বিভক্ত হবে।
Data Replication (ডেটা প্রতিলিপি)
HDFS ডেটার নির্ভরযোগ্যতা এবং ফেইলওভার প্রতিরোধের জন্য Replication ব্যবহার করে। এক ব্লকের একাধিক অনুলিপি তৈরি করে বিভিন্ন নোডে সংরক্ষণ করা হয়।
Replication এর মূল বৈশিষ্ট্য:
- Replication Factor:
- ডিফল্ট রেপ্লিকেশন ফ্যাক্টর হল ৩।
- অর্থাৎ, প্রতিটি ব্লকের তিনটি অনুলিপি তৈরি হয়।
- Data Distribution:
- এক নোডের ডেটা যদি নষ্ট হয়ে যায় (Node Failure), অন্য নোডে সংরক্ষিত রেপ্লিকা থেকে ডেটা পুনরুদ্ধার করা হয়।
- এটি Fault Tolerance নিশ্চিত করে।
- উদাহরণ:
একটি ব্লক যদি Node A তে সংরক্ষিত হয়, তার অনুলিপি Node B এবং Node C তে সংরক্ষণ করা হবে। ফলে Node A ব্যর্থ হলে অন্য নোড থেকে ডেটা পাওয়া যাবে। - Replication এর উপকারিতা:
- Fault Tolerance: নোড ফেইল হলেও ডেটা হারানোর ঝুঁকি থাকে না।
- High Availability: ডেটার একাধিক কপি থাকায় দ্রুত পুনরুদ্ধার করা যায়।
- Load Distribution: একই ডেটার কপি একাধিক নোডে থাকায় বিভিন্ন অ্যাপ্লিকেশন লোড শেয়ার করতে পারে।
Partitioning এবং Replication এর সংযোগ
- Partitioning বড় ডেটাসেটকে ছোট ছোট ব্লকে ভাগ করে সমান্তরাল প্রক্রিয়াকরণ নিশ্চিত করে।
- Replication নিশ্চিত করে যে এই ব্লকগুলোর কপি নিরাপদে একাধিক নোডে সংরক্ষণ করা হয়েছে।
- এ দুটি পদ্ধতির সমন্বয় Hadoop HDFS কে দ্রুত, নির্ভরযোগ্য এবং Fault-Tolerant বানায়।
সারাংশ
হাদুপে Data Partitioning বড় ডেটাসেটকে ব্লক আকারে ভাগ করে সমান্তরাল প্রক্রিয়াকরণের সুযোগ দেয়, আর Replication ব্লকের একাধিক কপি সংরক্ষণ করে ডেটার নিরাপত্তা ও প্রাপ্যতা নিশ্চিত করে। এই দুটি প্রযুক্তির সমন্বয়ে HDFS বড় পরিসরের ডেটা পরিচালনার একটি কার্যকর সমাধান প্রদান করে।
Read more
